扫描下载APP
其它方式登录
Lilian Weng发布拖更三年的长文《Scaling Laws, Carefully》，系统揭示AI领域核心规律——缩放定律（Scaling Laws）的多重脆弱性：OpenAI与DeepMind结论相悖源于参数统计口径差异和实验规模不足；Chinchilla最优配比公式存在损失函数取均值导致优化器提前终止、关键参数四舍五入放大误差等方法论缺陷；同时指出高质量数据即将枯竭，经典定律前提崩塌，行业正转向强化学习、测试时计算和合成数据等新路径。
Transformer联合发明人Łukasz Kaiser与三位挑战者展开AI架构辩论，直面Transformer在长上下文、记忆、推理、O(n²)复杂度和持续学习等方面的五大缺陷；Kaiser强调其不可替代性源于卓越的缩放曲线和工程生态，但承认若后Transformer架构证明更优缩放性能，将开启新纪元。
